Tot het einde van het Ancien Régime is de heerlijkheid van Buvrinnes in handen van de graven van Henegouwen.
Op deze plaats, in een uitgestrekte Engelse tuin van 30 hectare die ze erfde van haar vader, bouwde gravin, weduwe van Hippolyte De Looz van Corswarem, in 1883 dit imposante kasteel in Vlaamse renaissancestijl, naar een ontwerp van architect Emile Mahieu.
In 1910 werd het kasteel vergroot door de architect Pierre Langerock (die ook het Binche-station en het E. Derbaix-plein bouwde, evenals de restauratie van het Hotel de Ville en de collegiale kerk Saint-Ursmer). Vandaag wordt het kasteel nog steeds bewoond door de familie De Looz van Corswarem.